4.11 Dietterich’s 5x2-Fold Cross-Validated Paired t-Test
in the 5x2cv paired t-test, we repeat the splitting (50% training and 50% test data) five times.
「5x2cv paired t検定では、50%訓練セット 50%テストセットの分割を5回繰り返す」
50%訓練セット 50%テストセットの分割=2cv を5回繰り返している
疑問(TODO Dietterich論文確認)
なぜ5回?
訓練セット・テストセットの重なりにどのように対処している?(1イテレーションでは重なっていない)
5イテレーションの各回について
2FoldをAとBで表す(テストセットがAのときとBのとき)
AとBに重なりはない!
ACC_A = ACC_(A,C_1) - ACC_(A,C_2)
ACC_Bも同様にaccuracyの差として算出
we estimate the estimate mean and variance of the differences:
「(ACC_AとACC_Bから)ACC_avg(accuracyの差の平均)とs**2(accuracyの差のvariance)を見積もる」
統計量tの計算
分子はACC_(A,1)だけ(TODO 理由)
ACC_(A,1)は最初のイテレーションで得られたACC_A
The t statistic approximately follows as t distribution with 5 degrees of freedom, under the null hypothesis that the models C1 and C2 have equal performance.
p値が事前に決めた有意水準αを下回るかどうかで帰無仮説を検定する(下回ったら帰無仮説を棄却)